When Agents Fail: Model or Harness--Who's to Blame?
当 Agent 失败：归咎于模型还是执行框架？
🧭 Agent 执行框架评估与匹配
Shanghai Artificial Intelligence Laboratory
提出模型-执行框架匹配度评估框架，发现无单一最佳组合，OpenCode 跨模型最稳
📌 工作参考价值（4 点）
- 选型 Agent 执行框架时，不要只看最终任务分数，建议同时监控 VCR（有效完成率）和 Token Load，避免高分数掩盖高失败率或高 token 浪费。
- 不同模型适配不同 harness：内部构建 Agent 平台时，可以为每个主力模型分别评测 harness 的 Model-Harness Fit，而不是统一采用一个“最佳”框架。
- 在电商搜索/推荐 Agent 场景中，大量交互式工具调用和长上下文任务会放大模型-框架不匹配问题，可引入 Interaction Residuals 定位具体哪个组合在哪些步骤频繁失败。
- Token Load 包含失败尝试，适合作为成本控制指标：当框架重试机制激进时，即使任务最终成功，也可能消耗数倍 token，影响线上性价比。